Decoding Looped Transformers Better for (Almost) Free
几乎零成本优化循环Transformer解码
🧭 循环Transformer对比解码优化
Apple
训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量
📌 工作参考价值（4 点）
- 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
- 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
- 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
- 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。